การ์ดเนอร์ทั้งสามีภรรยาเป็นผู้ชอบการเดินทางและงานสะสมสมัยแรกก็มาจากการเดินทางในยุโรป และการเดินทางไปยังดินแดนอื่นๆ ที่รวมทั้งอียิปต์, ตุรกี และ ตะวันออกไกล แต่มาสะสมกันอย่างจริงจังเมื่อปลายคริสต์ทศวรรษ 1890 โดยทั่วไปแล้วเป็นงานสะสมจิตรกรรมและประติมากรรมชั้นหนึ่งระดับโลก แต่ก็มีพรมทอแขวนผนัง, ภาพถ่าย, เครื่องเงิน, เครื่องเซอรามิค, หนังสือต้นฉบับ และชิ้นส่วนทางสถาปัตยกรรมเช่นประตู หน้าต่างประดับกระจกสี และ แท่นประดับเตาผิง งานศิลปะเกือบ 70 ชิ้นซื้อหามาโดยการแนะนำของนักค้าขายศิลปะเบอร์นาร์ด เบเรนสัน ในบรรดานักสะสมด้วยกันอิซาเบลลาก็สะสมงานศิลปะแข่งกับเอ็ดเวิร์ด เพอร์รี วอร์เรนผู้ให้ภาพเขียนหลายภาพแก่ พิพิธภัณฑ์วิจิตรศิลป์, บอสตัน งานสะสมรวมงานของศิลปินผู้มีชื่อเสียงและสำคัญที่สุดของยุโรปที่รวมทั้งภาพ “พระแม่มารีและพระบุตรกับเทวดา” โดยซานโดร บอตติเชลลี, “ยูโรปา” โดยทิเชียน และ “พระแม่มารีโคลอนนา” โดย ราฟาเอล

อิซาเบลลาระบุไว้ในพินัยกรรมว่าพิพิธภัณฑ์จะต้องแสดงภาพตามที่จัดไว้โดยห้ามมิให้มีการโยกย้ายเปลี่ยนแปลงจากที่ที่อิซาเบลลาตั้งแสดงไว้เมื่อยังมีชีวิตอยู่ นอกจากจะเปิดแสดงงานอันมีค่าให้สาธารณชนชมแล้ว ก็ยังเป็นพิพิธภัณฑ์ที่แสดงให้เห็นถึงงานสะสมที่เป็นของดั้งเดิมของอิซาเบลลาและแจ็ค

ในปี ค.ศ. 1990 พิพิธภัณฑ์ก็ถูก โจรกรรมครั้งใหญ่ โดยโจรแต่งตัวเป็นตำรวจจับยามมัดและโขมยภาพเขียนไป 13 ภาพที่รวมทั้ง “เล่นดนตรี” โดย โยฮันส์ เวร์เมร์, ภาพร่างห้าภาพโดยเอ็ดการ์ เดอกาส์ และงานอีกสามชิ้นโดยแรมบรังด์ที่รวมทั้ง “พายุในทะเลกาลิลี” ซึ่งเท่าที่ทราบเป็นภาพทะเลทัศน์ภาพเดียวที่แรมบรังด์เขียน ในปัจจุบันภาพเหล่านี้ก็ยังคงหายไป การสืบสวนโดยสำนักงานสอบสวนกลางแห่งสหรัฐอเมริกาก็ยังคงดำเนินอยู่